Cascading Hallucination in Agentic RAG: The CHARM Framework for Detection and Mitigation
代理RAG中的级联幻觉检测与缓解:CHARM框架
🧭 代理RAG · 级联幻觉检测与缓解 ★ 深度解读
University of North Dakota
提出CHARM框架,通过跨阶段事实验证、一致性跟踪和置信度监控,实现89.4%的级联幻觉检测率和82.1%的错误传播减少。
📌 工作参考价值(4 点)
- 多步推理流水线的被动检测层:电商推荐Agent常涉及查询解析→召回→排序→生成解释等多步推理,可借鉴CHARM在不替换原有架构的前提下,引入跨阶段事实验证(SFV)和语义漂移跟踪(CSCT),捕获中间步骤的事实错误与逻辑偏移,避免错误积累导致最终推荐结果看似合理实则错误。
- 高价值场景的双模验证:对于大促选品、合规文案等高风险决策,可采用平行验证代理(PVA)进行独立复核,以2倍计算成本换取95.2%的缓解成功率,适合金融、医疗等强监管领域。
- 置信度传播监控:在生成式推荐或对话流中,可借鉴置信度监视器(CPM)的思想,用贝叶斯跟踪模型自信度的变化,防止低置信度的中间结论被后续步骤当作高置信信号使用,尤其在解释生成环节防止自欺欺人的“自信幻觉”。
- 可配置阈值与业务风险对齐:CHARM各组件阈值可按业务域校准,例如搜索Query改写阶段可适度降低NLI阈值以提升召回,而合规内容生成则可收紧阈值,并启用流水线回滚(PRR)确保最终输出基于正确上下文。